Mai Thọ Truyền sinh ngày 1 tháng 4 năm 1905 tại làng Long Mỹ, tỉnh Bến Tre trong một gia đình trung lưu. Thuở nhỏ ông được theo học tại trường Sơ học Pháp - Việt Bến Tre, rồi Trung học Mỹ Tho, và Chasseloup Laubat Saigon. Năm 1924, ông thi đậu Thư ký Hành chánh và được bổ đi làm việc tại Sài Gòn, Hà Tiên và Chợ Lớn. Năm 1931, ông thi đậu Tri huyện và đã tùng sự tại Sài Gòn, Trà Vinh, Long Xuyên và Sa Đéc. Ông nổi tiếng là người liêm khiết, chính trực và đức độ, không xu nịnh cấp trên, hà hiếp dân chúng, nên được quý mến.

Năm 1945, sau đảo chính Nhật, ông đang làm Quận trưởng Cầu Ngang, được mời về giữ chức Phó Tỉnh trưởng Trà Vinh. Tháng 6 năm ấy, chính quyền Trần Trọng Kim cử ông làm Quận trưởng Thốt Nốt (Long Xuyên). Sau Cách Mạng Tháng Tám, ông được cử làm Chủ tịch Ủy ban Quận Bộ Việt Minh tại Châu Thành, Long Xuyên, rồi Chánh văn phòng kiêm Ủy viên Tài chánh Ủy ban Nhân Dân tỉnh Long Xuyên.

Sau khi quân đội Pháp chiếm Long Xuyên, ông cùng Ủy ban dời về núi Sập rồi giải tán, nhường quyền chỉ huy kháng chiến cho quân sự. Ông lánh về vùng thôn quê ẩn náu. Chính phủ Nguyễn Văn Thinh mời ông làm Quận trưởng, rồi Phó tỉnh trưởng Sa Đéc. Trước cảnh quân đội Pháp tàn sát dân chúng, ông can thiệp không được, nên xin từ chức. Chính phủ không cho, ông bèn cáo bệnh xin đi điều dưỡng.

Giữa năm 1947, Mai Thọ Truyền xin đổi về Sài Gòn và lần lượt giữ các chức vụ: Chánh văn phòng Phủ Thủ tướng của chính phủ Nguyễn Văn Xuân (Hà Nội), Chánh văn phòng Bộ Kinh Tế, Giám đốc hành chánh sự vụ Bộ Ngoại giao, Đổng lý văn phòng Bộ Nội vụ của Chính phủ Nguyễn Phan Long, Đổng Lý văn phòng Phủ Thủ Hiến Việt Nam và Phó Đổng lý văn phòng Phủ Thủ tướng của Chính phủ Bửu Lộc. Năm 1955 ông đổi qua ngạch Thanh tra Hành chánh và Tài chánh, đến năm 1960 thì về hưu.

Sau ngày cuộc đảo chính Ngô Đình Diệm năm 1963, ông tham gia Hội đồng Nhân Sĩ cách mạng. Năm 1967 ông ứng cử Phó Tổng thống trong liên danh Trần Văn Hương, nhưng chung cuộc chỉ về hạng ba, liên danh Nguyễn Văn Thiệu - Nguyễn Cao Kỳ đắc cử.

Đến năm 1968 ông giữ chức Quốc vụ khanh kiêm Viện trưởng Giám sát viện, rồi Quốc vụ khanh đặc trách Văn hóa cho đến mất. Với trách vụ Quốc vụ khanh đặc trách Văn hóa, ông đã xây dựng Thư viện Quốc gia (nay là Thư viện Khoa học Tổng hợp thành phố), xúc tiến việc thành lập Văn khố quốc gia và Nhà văn hóa, thành lập và đẩy mạnh hoạt động của Ủy ban Điển chế văn tự, lập Ủy ban dịch thuật và xuất bản các sách Hán Nôm quý hiếm, thành lập Chi nhánh Bảo tồn Cổ tích Huế.